Reordenació i agrupament d’imatges resultants d’una cerca de vídeo

La recuperació de vídeo a través de consultes textuals es una practica molt comú en els arxius de radiodifusió. Les paraules clau de les consultes son comparades amb les metadades que s’anoten manualment als assets de vídeo pels documentalistes. A més, les cerques textuals bàsiques generen llistes de resultats planes, on tots els resultats tenen la mateixa importància, ja que, es limita a avaluar binàriament si la paraula de cerca apareix o no entre les metadades associades als continguts. A més, acostumen a mostrar continguts molt similars, donant al usuari una llista ordenada de resultats de poca diversitat visual. La redundància en els resultats provoca un malbaratament d’espai a la interfície gràfica d’usuari (GUI) que sovint obliga a l’usuari a interactuar fortament amb la interfície gràfica fins localitzar els resultats rellevants per a la seva cerca. La aportació del present projecte consisteix en la presentació d’una estratègia de reordenació i agrupació per obtenir keyframes de major rellevància entre els primers resultats, però al mateix temps mantenir una diversitat d’assets. D’aquesta forma, aquestes tècniques permetran millorar els sistemes de visualització d’imatges resultants d’una cerca de vídeo. L’eina global es dissenya per ser integrada en l'entorn del Digition, el gestor de continguts audiovisuals de la Corporació Catalana de Mitjans Audiovisuals

Reordenació i agrupament d’imatges resultants d’una cerca de vídeo

La recuperació de vídeo a través de consultes textuals es una practica molt comú en els arxius de radiodifusió. Les paraules clau de les consultes son comparades amb les metadades que s’anoten manualment als assets de vídeo pels documentalistes. A més, les cerques textuals bàsiques generen llistes de resultats planes, on tots els resultats tenen la mateixa importància, ja que, es limita a avaluar binàriament si la paraula de cerca apareix o no entre les metadades associades als continguts. A més, acostumen a mostrar continguts molt similars, donant al usuari una llista ordenada de resultats de poca diversitat visual. La redundància en els resultats provoca un malbaratament d’espai a la interfície gràfica d’usuari (GUI) que sovint obliga a l’usuari a interactuar fortament amb la interfície gràfica fins localitzar els resultats rellevants per a la seva cerca. La aportació del present projecte consisteix en la presentació d’una estratègia de reordenació i agrupació per obtenir keyframes de major rellevància entre els primers resultats, però al mateix temps mantenir una diversitat d’assets. D’aquesta forma, aquestes tècniques permetran millorar els sistemes de visualització d’imatges resultants d’una cerca de vídeo. L’eina global es dissenya per ser integrada en l'entorn del Digition, el gestor de continguts audiovisuals de la Corporació Catalana de Mitjans Audiovisuals

Introducció de la informació de profunditat en una tècnica de co-clustering jeràrquic temporal

Dada una técnica de co-clustering de imágenes en una secuencia de vídeo, se ha estudiado cómo mejorar dicha técnica incluyendo una estimación de la información de profundidad entre las características que explota el co-clustering.Video segmentation aims to consistently group regions that are similar in appearance and movement along a sequence. This task is an essential step of video analysis and it has important applications in video coding, indexing and retrieval, 3D reconstruction, action recognition, etc. In particular, in this thesis, a multiresolution hierarchical co-clustering technique (MRHC) is analyzed in order to include depth information for improving image segmentation in sequences with small variations. This information is invariant to changes on brightness and/or texture and camera position. Thus, it may correct some errors that are present when segmentation techniques based on color and movement are used, because this information is independent of color information of the image and the movement that occurs in the scene. Two considerations can be made. Firstly, all the regions of the same object should share similar depth values and, secondly, depth values from regions that do not belong to the same object show discontinuities. Three different ways of coding depth information in MRHC have been studied in this project. In the first approach, the similarity between regions is weighted according to the depth difference between them. The second approach determines the 3D-neighborhood between regions. Finally, a combination of the previous approaches is considered. The Video Occlusion/Object Boundary Dataset has been used to evaluate the inclusion of the depth on MRHC and to compare this method with the state-of-the-art techniques in the field of video segmentation. The results obtained show that the use of depth information improves the outcome video techniques obtained with the MRHC, outperforming the state-of-the-art methods in this scenario.La segmentación de una secuencia de video consiste en agrupar de manera coherente regiones que son similares tanto en apariencia como en movimiento a lo largo de un vídeo. Esta tarea es un paso fundamental en el análisis de vídeo y tiene importantes aplicaciones en codificación, indexación y recuperación de vídeo, reconstrucción 3D, reconocimiento de acciones, etc. En concreto, en este Proyecto Final de Carrera se analiza la técnica de co-clustering multiresolución jerárquico para segmentación de vídeo (MRHC) con el objetivo de introducir la información de profundidad para mejorar la segmentación. Esta información facilita la tarea de segmentación porque es invariante a los cambios de iluminación y/o textura y a la posición de la cámara. Por lo tanto, permite corregir algunos de los problemas que presentan las técnicas de segmentación basadas en color y movimiento porque utilizan una información independiente del color de la imagen y del movimiento que se produce en la escena. Se pueden hacer dos consideraciones en cuanto a los valores de profundidad en una escena. Por un lado, los valores de un objeto no varían bruscamente. Por el otro, los valores de profundidad presentan discontinuidades en la frontera entre objetos. En base a estas consideraciones se puede determinar si dos regiones pertenecen al mismo plano de profundidad o no. En este proyecto se han estudiado tres maneras de introducir la información de profundidad en MRHC. La primera consiste en ponderar la similitud entre regiones en función de la diferencia de profundidad entre éstas. Este coeficiente penalizando la similitud a medida que la diferencia aumenta. La segunda consiste en determinar la vecindad entre regiones en 3D. Por último, el tercer enfoque combina los dos anteriores. Se ha utilizado la base de datos Occlusion/Object Boundary para evaluar la inclusión de la profundidad en MRCH y para comparar la técnica actual MRHC con el estado del arte en segmentación de video. Los resultados obtenidos muestran que la inclusión de la profundidad mejora los resultados obtenidos con MRHC, superando las técnicas del estado del arte.La segmentació de una seqüència de vídeo consisteix en agrupar de forma coherent regions que són similars tant en aparença com en moviment al llarg de un vídeo. Aquesta tasca es un pas fonamental en l’anàlisi de vídeo y té importants aplicacions en codificació, indexació y recuperació de vídeo, reconstrucció 3D, reconeixement d’accions, etc. En concret, en aquest Projecte final de Carrera s’analitza la tècnica de co-clustering multiresolució jeràrquica per segmentació de vídeo (MRHC) amb l’objectiu de introduir la informació de profunditat per millorar la segmentació. Aquesta informació facilita la tasca de segmentació perquè és invariant als canvis de il•luminació i/o textura i a la posició de la càmera. Per això, permet corregir alguns errors que produeixen les tècniques de segmentació basades en el color de la imatge i del moviment que es produeix a l’escena. Es poden fer dues consideracions en quant als valors de profunditat d’una escena. Per una banda, els valors d’un objecte no varien bruscament. Per l’altre, els valors de profunditat presenten discontinuïtats a la frontera entre objectes. Segons aquestes consideracions es pot determinar si dos regions corresponen al mateix pla de profunditat o no. En aquest projecte s’han estudiat tres manera de incorporar la informació de profunditat a MRHC. La primera pondera la similitud entre regions en funció de la diferencia de profunditat entre aquestes. Aquest coeficient penalitza la similitud a mesura que la diferencia augmenta. La segona determina el veïnat entre regions en 3D. Per últim, la tercera combina les dues anteriors. S’ha utilitzat la base de dades Occlusion/Object Boundary per avaluar la inclusió de la profunditat a MRHC i per comparar MRHC amb les tècniques del estat del art en segmentació de vídeo. Els resultats obtinguts mostren que la inclusió de la profunditat obté millora els resultats obtinguts amb MRHC, superant les tècniques del estat del art

Introducció de la informació de profunditat en una tècnica de co-clustering jeràrquic temporal

Dada una técnica de co-clustering de imágenes en una secuencia de vídeo, se ha estudiado cómo mejorar dicha técnica incluyendo una estimación de la información de profundidad entre las características que explota el co-clustering.Video segmentation aims to consistently group regions that are similar in appearance and movement along a sequence. This task is an essential step of video analysis and it has important applications in video coding, indexing and retrieval, 3D reconstruction, action recognition, etc. In particular, in this thesis, a multiresolution hierarchical co-clustering technique (MRHC) is analyzed in order to include depth information for improving image segmentation in sequences with small variations. This information is invariant to changes on brightness and/or texture and camera position. Thus, it may correct some errors that are present when segmentation techniques based on color and movement are used, because this information is independent of color information of the image and the movement that occurs in the scene. Two considerations can be made. Firstly, all the regions of the same object should share similar depth values and, secondly, depth values from regions that do not belong to the same object show discontinuities. Three different ways of coding depth information in MRHC have been studied in this project. In the first approach, the similarity between regions is weighted according to the depth difference between them. The second approach determines the 3D-neighborhood between regions. Finally, a combination of the previous approaches is considered. The Video Occlusion/Object Boundary Dataset has been used to evaluate the inclusion of the depth on MRHC and to compare this method with the state-of-the-art techniques in the field of video segmentation. The results obtained show that the use of depth information improves the outcome video techniques obtained with the MRHC, outperforming the state-of-the-art methods in this scenario.La segmentación de una secuencia de video consiste en agrupar de manera coherente regiones que son similares tanto en apariencia como en movimiento a lo largo de un vídeo. Esta tarea es un paso fundamental en el análisis de vídeo y tiene importantes aplicaciones en codificación, indexación y recuperación de vídeo, reconstrucción 3D, reconocimiento de acciones, etc. En concreto, en este Proyecto Final de Carrera se analiza la técnica de co-clustering multiresolución jerárquico para segmentación de vídeo (MRHC) con el objetivo de introducir la información de profundidad para mejorar la segmentación. Esta información facilita la tarea de segmentación porque es invariante a los cambios de iluminación y/o textura y a la posición de la cámara. Por lo tanto, permite corregir algunos de los problemas que presentan las técnicas de segmentación basadas en color y movimiento porque utilizan una información independiente del color de la imagen y del movimiento que se produce en la escena. Se pueden hacer dos consideraciones en cuanto a los valores de profundidad en una escena. Por un lado, los valores de un objeto no varían bruscamente. Por el otro, los valores de profundidad presentan discontinuidades en la frontera entre objetos. En base a estas consideraciones se puede determinar si dos regiones pertenecen al mismo plano de profundidad o no. En este proyecto se han estudiado tres maneras de introducir la información de profundidad en MRHC. La primera consiste en ponderar la similitud entre regiones en función de la diferencia de profundidad entre éstas. Este coeficiente penalizando la similitud a medida que la diferencia aumenta. La segunda consiste en determinar la vecindad entre regiones en 3D. Por último, el tercer enfoque combina los dos anteriores. Se ha utilizado la base de datos Occlusion/Object Boundary para evaluar la inclusión de la profundidad en MRCH y para comparar la técnica actual MRHC con el estado del arte en segmentación de video. Los resultados obtenidos muestran que la inclusión de la profundidad mejora los resultados obtenidos con MRHC, superando las técnicas del estado del arte.La segmentació de una seqüència de vídeo consisteix en agrupar de forma coherent regions que són similars tant en aparença com en moviment al llarg de un vídeo. Aquesta tasca es un pas fonamental en l’anàlisi de vídeo y té importants aplicacions en codificació, indexació y recuperació de vídeo, reconstrucció 3D, reconeixement d’accions, etc. En concret, en aquest Projecte final de Carrera s’analitza la tècnica de co-clustering multiresolució jeràrquica per segmentació de vídeo (MRHC) amb l’objectiu de introduir la informació de profunditat per millorar la segmentació. Aquesta informació facilita la tasca de segmentació perquè és invariant als canvis de il•luminació i/o textura i a la posició de la càmera. Per això, permet corregir alguns errors que produeixen les tècniques de segmentació basades en el color de la imatge i del moviment que es produeix a l’escena. Es poden fer dues consideracions en quant als valors de profunditat d’una escena. Per una banda, els valors d’un objecte no varien bruscament. Per l’altre, els valors de profunditat presenten discontinuïtats a la frontera entre objectes. Segons aquestes consideracions es pot determinar si dos regions corresponen al mateix pla de profunditat o no. En aquest projecte s’han estudiat tres manera de incorporar la informació de profunditat a MRHC. La primera pondera la similitud entre regions en funció de la diferencia de profunditat entre aquestes. Aquest coeficient penalitza la similitud a mesura que la diferencia augmenta. La segona determina el veïnat entre regions en 3D. Per últim, la tercera combina les dues anteriors. S’ha utilitzat la base de dades Occlusion/Object Boundary per avaluar la inclusió de la profunditat a MRHC i per comparar MRHC amb les tècniques del estat del art en segmentació de vídeo. Els resultats obtinguts mostren que la inclusió de la profunditat obté millora els resultats obtinguts amb MRHC, superant les tècniques del estat del art

Introducció de la informació de profunditat en una tècnica de co-clustering jeràrquic temporal

Dada una técnica de co-clustering de imágenes en una secuencia de vídeo, se ha estudiado cómo mejorar dicha técnica incluyendo una estimación de la información de profundidad entre las características que explota el co-clustering.Video segmentation aims to consistently group regions that are similar in appearance and movement along a sequence. This task is an essential step of video analysis and it has important applications in video coding, indexing and retrieval, 3D reconstruction, action recognition, etc. In particular, in this thesis, a multiresolution hierarchical co-clustering technique (MRHC) is analyzed in order to include depth information for improving image segmentation in sequences with small variations. This information is invariant to changes on brightness and/or texture and camera position. Thus, it may correct some errors that are present when segmentation techniques based on color and movement are used, because this information is independent of color information of the image and the movement that occurs in the scene. Two considerations can be made. Firstly, all the regions of the same object should share similar depth values and, secondly, depth values from regions that do not belong to the same object show discontinuities. Three different ways of coding depth information in MRHC have been studied in this project. In the first approach, the similarity between regions is weighted according to the depth difference between them. The second approach determines the 3D-neighborhood between regions. Finally, a combination of the previous approaches is considered. The Video Occlusion/Object Boundary Dataset has been used to evaluate the inclusion of the depth on MRHC and to compare this method with the state-of-the-art techniques in the field of video segmentation. The results obtained show that the use of depth information improves the outcome video techniques obtained with the MRHC, outperforming the state-of-the-art methods in this scenario.La segmentación de una secuencia de video consiste en agrupar de manera coherente regiones que son similares tanto en apariencia como en movimiento a lo largo de un vídeo. Esta tarea es un paso fundamental en el análisis de vídeo y tiene importantes aplicaciones en codificación, indexación y recuperación de vídeo, reconstrucción 3D, reconocimiento de acciones, etc. En concreto, en este Proyecto Final de Carrera se analiza la técnica de co-clustering multiresolución jerárquico para segmentación de vídeo (MRHC) con el objetivo de introducir la información de profundidad para mejorar la segmentación. Esta información facilita la tarea de segmentación porque es invariante a los cambios de iluminación y/o textura y a la posición de la cámara. Por lo tanto, permite corregir algunos de los problemas que presentan las técnicas de segmentación basadas en color y movimiento porque utilizan una información independiente del color de la imagen y del movimiento que se produce en la escena. Se pueden hacer dos consideraciones en cuanto a los valores de profundidad en una escena. Por un lado, los valores de un objeto no varían bruscamente. Por el otro, los valores de profundidad presentan discontinuidades en la frontera entre objetos. En base a estas consideraciones se puede determinar si dos regiones pertenecen al mismo plano de profundidad o no. En este proyecto se han estudiado tres maneras de introducir la información de profundidad en MRHC. La primera consiste en ponderar la similitud entre regiones en función de la diferencia de profundidad entre éstas. Este coeficiente penalizando la similitud a medida que la diferencia aumenta. La segunda consiste en determinar la vecindad entre regiones en 3D. Por último, el tercer enfoque combina los dos anteriores. Se ha utilizado la base de datos Occlusion/Object Boundary para evaluar la inclusión de la profundidad en MRCH y para comparar la técnica actual MRHC con el estado del arte en segmentación de video. Los resultados obtenidos muestran que la inclusión de la profundidad mejora los resultados obtenidos con MRHC, superando las técnicas del estado del arte.La segmentació de una seqüència de vídeo consisteix en agrupar de forma coherent regions que són similars tant en aparença com en moviment al llarg de un vídeo. Aquesta tasca es un pas fonamental en l’anàlisi de vídeo y té importants aplicacions en codificació, indexació y recuperació de vídeo, reconstrucció 3D, reconeixement d’accions, etc. En concret, en aquest Projecte final de Carrera s’analitza la tècnica de co-clustering multiresolució jeràrquica per segmentació de vídeo (MRHC) amb l’objectiu de introduir la informació de profunditat per millorar la segmentació. Aquesta informació facilita la tasca de segmentació perquè és invariant als canvis de il•luminació i/o textura i a la posició de la càmera. Per això, permet corregir alguns errors que produeixen les tècniques de segmentació basades en el color de la imatge i del moviment que es produeix a l’escena. Es poden fer dues consideracions en quant als valors de profunditat d’una escena. Per una banda, els valors d’un objecte no varien bruscament. Per l’altre, els valors de profunditat presenten discontinuïtats a la frontera entre objectes. Segons aquestes consideracions es pot determinar si dos regions corresponen al mateix pla de profunditat o no. En aquest projecte s’han estudiat tres manera de incorporar la informació de profunditat a MRHC. La primera pondera la similitud entre regions en funció de la diferencia de profunditat entre aquestes. Aquest coeficient penalitza la similitud a mesura que la diferencia augmenta. La segona determina el veïnat entre regions en 3D. Per últim, la tercera combina les dues anteriors. S’ha utilitzat la base de dades Occlusion/Object Boundary per avaluar la inclusió de la profunditat a MRHC i per comparar MRHC amb les tècniques del estat del art en segmentació de vídeo. Els resultats obtinguts mostren que la inclusió de la profunditat obté millora els resultats obtinguts amb MRHC, superant les tècniques del estat del art

Reordenació i agrupament d’imatges resultants d’una cerca de vídeo

La recuperació de vídeo a través de consultes textuals es una practica molt comú en els arxius de radiodifusió. Les paraules clau de les consultes son comparades amb les metadades que s’anoten manualment als assets de vídeo pels documentalistes. A més, les cerques textuals bàsiques generen llistes de resultats planes, on tots els resultats tenen la mateixa importància, ja que, es limita a avaluar binàriament si la paraula de cerca apareix o no entre les metadades associades als continguts. A més, acostumen a mostrar continguts molt similars, donant al usuari una llista ordenada de resultats de poca diversitat visual. La redundància en els resultats provoca un malbaratament d’espai a la interfície gràfica d’usuari (GUI) que sovint obliga a l’usuari a interactuar fortament amb la interfície gràfica fins localitzar els resultats rellevants per a la seva cerca. La aportació del present projecte consisteix en la presentació d’una estratègia de reordenació i agrupació per obtenir keyframes de major rellevància entre els primers resultats, però al mateix temps mantenir una diversitat d’assets. D’aquesta forma, aquestes tècniques permetran millorar els sistemes de visualització d’imatges resultants d’una cerca de vídeo. L’eina global es dissenya per ser integrada en l'entorn del Digition, el gestor de continguts audiovisuals de la Corporació Catalana de Mitjans Audiovisuals

Diversity ranking for video retrieval from a broadcaster archive

Video retrieval through text queries is a very common practice in broadcaster archives. The query keywords are compared to the metadata labels that documentalists have previously associated to the video assets. This paper focuses on a ranking strategy to obtain more relevant keyframes among the top hits of the results ranked lists but, at the same time, keeping a diversity of video assets. Previous solutions based on a random walk over a visual similarity graph have been modi ed to increase the asset diversity by ltering the edges between keyframes depending on their asset. The random walk algorithm is applied separately for ever visual feature to avoid any normalization issue between visual similarity metrics. Finally, this work evaluates performance with two separate metrics: the relevance is measured by the Average Precision and the diversity is assessed by the Average Diversity, a new metric presented in this work

Diversity ranking for video retrieval from a broadcaster archive

Video retrieval through text queries is a very common practice in broadcaster archives. The query keywords are compared to the metadata labels that documentalists have previously associated to the video assets. This paper focuses on a ranking strategy to obtain more relevant keyframes among the top hits of the results ranked lists but, at the same time, keeping a diversity of video assets. Previous solutions based on a random walk over a visual similarity graph have been modi ed to increase the asset diversity by ltering the edges between keyframes depending on their asset. The random walk algorithm is applied separately for ever visual feature to avoid any normalization issue between visual similarity metrics. Finally, this work evaluates performance with two separate metrics: the relevance is measured by the Average Precision and the diversity is assessed by the Average Diversity, a new metric presented in this work

Multiresolution hierarchy co-clustering for semantic segmentation in sequences with small variations

This paper presents a co-clustering technique that, given a collection of images and their hierarchies, clusters nodes from these hierarchies to obtain a coherent multiresolution representation of the image collection. We formalize the co-clustering as Quadratic Semi-Assignment Problem and solve it with a linear programming relaxation approach that makes effective use of information from hierarchies. Initially, we address the problem of generating an optimal, coherent partition per image and, afterwards, we extend this method to a multiresolution framework. Finally, we particularize this framework to an iterative multiresolution video segmentation algorithm in sequences with small variations. We evaluate the algorithm on the Video Occlusion/Object Boundary Detection Dataset, showing that it produces state-of-the-art results in these scenarios